home *** CD-ROM | disk | FTP | other *** search
/ Cream of the Crop 25 / Cream of the Crop 25.iso / os2 / gnuwget.zip / wget-1.4.3 / src / recur.h < prev    next >
C/C++ Source or Header  |  1997-01-17  |  1KB  |  40 lines
  1. /* Declarations for recursive retrieving
  2.    Copyright (C) 1995, 1996, 1997 Free Software Foundation, Inc.
  3.    
  4.    This program is free software; you can redistribute it and/or modify
  5.    it under the terms of the GNU General Public License as published by
  6.    the Free Software Foundation; either version 2 of the License, or
  7.    (at your option) any later version.
  8.    
  9.    This program is distributed in the hope that it will be useful,
  10.    but WITHOUT ANY WARRANTY; without even the implied warranty of
  11.    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12.    GNU General Public License for more details.
  13.    
  14.    You should have received a copy of the GNU General Public License
  15.    along with this program; if not, write to the Free Software
  16.    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.  */
  17.  
  18.  
  19. #ifndef RECUR_H
  20. #define RECUR_H
  21.  
  22. /* Default robots filename */
  23. #define ROBOTS_FILENAME "robots.txt"
  24.  
  25. enum {
  26.    RFIRST_TIME = 1,
  27.    RCLEANUP    = 2
  28. };
  29.  
  30. void convert_all_links PARAMS((void));
  31. uerr_t recursive_retrieve PARAMS((const char *, const char *, int));
  32.  
  33. /* Robots support: */
  34. uerr_t retrieve_robots PARAMS((const char *, const char *));
  35. urlinfo *robots_url PARAMS((const char *, const char *));
  36. char **parse_robots PARAMS((const char *));
  37. int robots_match PARAMS((urlinfo *, char **));
  38.  
  39. #endif /* RECUR_H */
  40.